พลเอกพิจิตร เคยสมรสกับอรุณี กุลละวณิชย์ มีบุตร 1 คน คือ พิเชฏฐ์ กุลละวณิชย์ ซึ่งภายหลังได้เปิดเผยต่อสาธารณะว่าบุตรชายคนดังกล่าวได้ตัดขาดจากตน[12] แต่พิเชฏฐ์ออกมาปฏิเสธ[13] ต่อมาสมรสกับพันเอกหญิง คุณหญิงวิมล กุลละวณิชย์ มีบุตร 1 คน คือ พิชาญ กุลละวณิชย์ ซึ่งเป็นผู้ได้รับพระราชทานเครื่องราชอิสริยาภรณ์สืบตระกูล[14]